Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs
Mix-Quant：面向Agent LLM的量化预填充与精确解码
🧭 Agent推理优化 · 阶段感知量化 ★ 深度解读
National University of Singapore
提出阶段感知量化框架，预填充用NVFP4加速，解码保持BF16精度，在Agent任务上几乎无损且预填充加速达3倍。
📌 工作参考价值（4 点）
- 对于交互多轮、上下文不断增长的Agent工作流，解码阶段对数值误差更敏感，可直接对预填充进行低精度量化（如NVFP4）而保持解码高精度，避免长轨迹中的误差累积。
- 可借助预填充-解码分离架构，将低精度预填充worker和高精度解码worker独立部署，既不引入额外的精度切换开销，又能充分利用硬件加速（如Blackwell的FP4 Tensor Core）。
- 在输入token远多于输出的场景（工具调用、记忆检索、代码生成等），预填充成为瓶颈，利用W4A4量化可显著降低计算量，收益明显。
- 量化的收益并非均匀分布在所有阶段：预填充因并行处理长上下文而适合激进量化，解码因自回归特性需保持精度，按阶段定制量化策略是简单有效的手段。